DyCo-RL: Dynamic Cross-Modal Coordination for Visual Reasoning
动态跨模态协调强化学习提升视觉推理
🧭 多模态大模型视觉推理训练优化
University of Trento · BAAI · Singapore Management University · IQuest Research
通过对齐token功能角色与实际注意力分配，改进RLVR中的跨模态协调
📌 工作参考价值（4 点）
- 多模态电商/推荐系统（如商品图文联合推理）可借鉴 token 功能角色划分思想，显式建模视觉感知与文本推理步骤的交替，减少幻觉或不一致。
- 在强化学习训练中，可引入基于注意力对齐的中间过程信号作为辅助奖励或重要性权重，而不仅依赖最终结果奖励，有助于提升生成序列的合理性。
- Fisher-Rao geodesic 距离可用于分析序列生成时模态内的注意力转移模式，作为一种新的可解释性工具，诊断多模态 Agent 的信息流问题。
- 对多模态 Agent 的 CoT 推理设计，可显式区分“提取视觉证据”步与“文本上下文推理”步，并加入对齐约束，提高决策准确性。